MDB Tools: MS Access trochu jinak - I

14. 7. 2004 | Stanislav Puffler | Různé | 13628×

Byl bych se vůbec nezlobil, kdyby byl Bill býval sám zdokumentoval a otevřel MS Access širšímu okruhu uživatelů a vývojářů, zejména pak nám tučňákům linuxovitým. Opět to ale musel udělat někdo jiný...

MDB Tools se představuje

Projekt MDB Tools se snaží zdokumentovat souborový formát MDB používaný v databázích Access z dílny společnosti Microsoft a snaží se také poskytnout sadu nástrojů a aplikací, které zpřístupní data uložená v tomto proprietárním formátu i uživatelům non-windows platforem. Obecně umožňují tyto nástroje exportovat schéma databáze a data do DDL a souborů importovatelných do MS SQL Server, MS Access, MySQL, PostgreSQL, Oracle, Sybase a dalších. Balíček obsahuje i engine vykonávající jednoduché dotazovací příkazy SQL. MDB Tools umí data ze souboru .mdb pouze číst a exportovat, a to ještě s omezením (Jet 3 a 4), nicméně v další verzích je avizována i možnost zápisu do databáze. Poslední verze 0.5 obsahuje grafické uživatelské rozhraní a ODBC ovladač. Motto projektu zní "Odemkni svá data", vezměme tedy onen pomyslný klíč a pojďme se podívat, kde všude si odemkneme.

Instalace přede dveřmi

Než začnete vůbec instalovat MDB Tools, je nutno splňovat určité požadavky, které jsou specifikované na stránkách projektu i s odkazy na související stránky. Potřebné jsou tyto technické předpoklady: glib2.0, readline bison, flex, unixODBC, Gnome 2.0, libglade a wordexp.

MDB Tools je možné instalovat jako balíček RPM, DEB, jiný binární balíček nebo ze zdrojáků. U RPM a DEB balíčku je instalace triviální. Zastavme se tedy až u instalace ze zdrojových kódů. Nemine nás trojice - konfigurace, sestavení a instalace. Konfiguraci je možné udělat dvěma způsoby. Konfigurace přímo z tarballu výpadá následovně:

$ zcat mdbtools-0.5.tgz | tar xvf - $ cd mdbtools-0.5 $ ./configure

Chcete-li instalovat MDB Tools s podporou ODBC, je nutné použít argument --with-unixodbc s uvedením adresáře, ve kterém máte unixODBC nainstalován.

$ zcat mdbtools-0.5.tgz | tar xvf - $ cd mdbtools-0.5 $ ./configure --with-unixodbc=/usr/local

Hledáte-li tu nejaktuálnější verzi MDB Tools, použijte CVS. Tento krok využívá skript autogen.sh, tudíž je konfigurace trochu odlišná. Opět zde platí - nechcete-li podporu ODBC odstraňte argument --with-unixodbc.

$ cvs -d:pserver:anonymous@cvs.sourceforge.net:/cvsroot/mdbtools login $ cvs -z3 -d:pserver:anonymous@cvs.sourceforge.net:/cvsroot/mdbtools co $ cd mdbtools $ ./autogen.sh --with-unixodbc=/usr/local

Sestavení a instalace jsou již standardní příkazy:

$ make $ su - # make install

Otvíráme bránu

Databáze MDB jsou soubory vytvořené pomocí MS Jet Database Engine. Tyto soubory jsou používány nejen v databázích MS Access, ale také například v produktech MS, jakými jsou webový server IIS, poštovní server Exchange, Money či Project. Setkal jsem se s nimi ale i u produktů třetích stran - příkladem budiž databáze sekundárních informací vztahujících se k audio nahrávkám telefonních hovorů v zařízení Racal Mirra. Tyto .mdb soubory umožňují klientské aplikaci indexovat hovory a přiřadit nahrávce .wav data typu počátek a konec hovoru, trvání, tel. linka a podobně.

MDB Tools je především knihovna pro přístup k datům z databázových souborů .mdb - knihovna má název LibMDB. Dále pak utility příkazového řádku pro získání schéma a dat ze souboru, tyto utility se nám hodí ke skriptování. Dále pak LibMDBSQL - vrstva nad LibMDB umožňující provádět nad daty v souboru dotazy SQL. LibMDBODBC je databázový ovladač, který využijeme ve spolupráci s programovacími jazyky jako Perl a PHP pomocí DBD:ODBC. K nativnímu ovladači je však nutno doinstalovat unixODBC, jelikož potřebuje ke své práci unixový ODBC driver manager. Konečně Gmdb2, což je GUI nad LibMDB a command line utilities, zobrazující objekty uložené v databázovém souboru a umožňující tak v grafickém rozhraní prohlížet schéma tabulek nebo dotazovaní se pomocí SQL - prostředí je docela zdařilé a přehledné.

Do budoucna se dle roadmapy chystají samá pěkná vylepšení a nové funkce jako například práce s indexy, možnost přidat nový záznam do tabulek, plná podpora zápisu pro LibMDB a LibMDBSQL, možnost extrahovat dotazy, VBA skripty, formuláře či vlastnosti tabulek, kontrola konzistence databáze, recovery tool, možnost přidávat vlastní tabulky do souboru a další. Z mého pohledu a díky testování těchto nástrojů bych však nejprve doporučoval pečlivě sledovat a řešit primárně bug reporty od uživatelů, jelikož chyb má zejména GUI stále dost a dost - příklad je na obrázku. Dalším nešvarem, jak už to tak bývá, je špatné zobrazování a vůbec práce s českými znaky. Myslím, že MDB Tools mají ambice být dobrou alternativou MS Accessu v prostředí Unixu a Linuxu - proto by jim slušela i lokalizace do vícero světových jazyků ;o).

Utility příkazového řádku

Silným nástrojem unixu byly, jsou a budou programy pro příkazový řádek. MDB Tools nám nabízí několik utilit pro práci s databázovým souborem .mdb v linuxovém shellu. Většina dále jmenovaných programů má po instalaci své vlastní manuálové stránky s podrobným popisem a syntaxí. Prvním z nich je mdb-tables, který nedělá nic jiného, než vypíše tabulky z dané databáze.

Dalším příkazem je mdb-schema, který dokáže produkovat DDL výstup z MDB. Jazyk DDL (Data Definition Language) je standard a tudíž je možné pomocí schéma Access databáze následně vytvořit stejnou databázi v alternativním databázovém prostředí. Podporovány jsou aktuálně MS SQL Server, MS Access, Sybase, Oracle, PostgreSQL a MySQL. Exportovat je možné buď jednu tabulku nebo obsah databázového souboru MDB. Příkaz posílá výstup na obrazovku - doporučuji přesměrovat výstup pomocí roury do textového souboru s DDL.

mdb-schema soubor.mdb oracle > ddl_soubor.sql

mdb-export umí generovat CSV výstup pro určenou tabulku. Pomocí parametrů je možné nezobrazit v CSV hlavičku, určit si vlastní oddělovač, nezabalovat pole typu text, memo a date do uvozovek. Takový výstup je pak možné snadno importovat do jiných databázových prostředí a tabulkových procesorů typu OpenOffice.org Calc.

mdb-ver určí verzi databázového stroje, ve kterém byla databáze vytvořená. Výstup je buďto JET3 (Access 97) nebo JET4 (Access 2000/XP).

Prográmátoři a vývojáři databázových aplikací uvítají utility, které jim vygenerují hlavičkové soubory pro práci s databází v jazyce C. Jedná se o programy mdb-header a mdb-parsecsv.

Posledním, avšak velmi silným nástrojem command utilities, je samotné SQL rozhraní pro shell. Příkazem mdb-sql si tak můžete vaše data osahat tak, jak jste zvyklí. Díky několika parametrům je možné poslat na vstup mdb-sql příkazy ze souboru nebo naopak místo na STDOUT poslat výstup samotného mdb-sql do souboru pro pozdější použití. Opět je možné hrát si s hlavičkou, a tentokráte i s patičkou, vypínat a zapínat pretty printing dle vašich potřeb nebo použít vlastní oddělovače.

Nutno podotknout, že SQL je v Access značně osobité a znalci SQL Serveru nebo Oracle a jeho PL/SQL si asi na své zrovna nepřijdou. Navíc mdb-sql obsahuje jen malou podmnožinu příkazů jazyka SQL, kterou blíže definují manuálové stránky. Po zadání základního příkazu s jeho možnými parametry se dostanete do interaktivního režimu (tak jak je tomu napřiklad v utilitě isql) a můžeme začít s laborováním. Příkazem connect to s názvem databáze se připojíte a můžete zadávat SQL příkazy. Nápomocné vám budou list tables a describe table. Příkazy SQL se spustí pomocí go, z databáze se odpojíte standardně pomocí příkazu disconnect.

ODBC ovladač

LibMDBODBC je ovladač, který pracuje s manažerem ovladačů unixODBC. Umožňuje MDB Tools přistupovat k datům z programovacích jazyků PHP či Perl pomocí DBD::ODBC. V aktuální chvíli je implementace ODBC v MDB Tools spíš experimentální záležitostí. Ovladač je postaven nad knihovnou LibMDB a LibMDBSQL.

Projekt "unixODBC" je samostatný a zcela nezávislý na MDB Tools a jeho cíl je vyvíjet a propagovat unixODBC jakožto standard ODBC na non-windows platformách a poskytovat vývojářům API pro přístup ke zdrojům dat, které v sobě zahrnují různé SQL servery a jiné zdroje dat, jež mají k dispozici ODBC ovladače. unixODBC je vcelku dobře zdokumentován. Zejména pak uživatelský manuál je přehledný, názorný a přitom stručný.

Závěr

Ve druhém díle se dočtete o grafických nadstavbách, dalších pomocných nástrojích a také o konkrétních situacích, ve kterých by se MDB Tools mohly hodit - případové studie.

       

Komentáře

[MaT]

Když se podívám na předpředposlední a předposlední odstavec, nechybí mezi nimi kus textu?

"...Ovladač je postaven nad knihovnou LibMDB a LibMDBSQL.

slý na MDB Tools a jeho cíl je vyvíjet a propagovat unixODBC jakožto standard ODBC na non-windows platformách a poskytovat vývojářům API pro přístup ke zdrojům dat, které v sobě zahrnují různé SQL servery a jiné zdroje dat, jež mají k dispozici ODBC ovladače...".

A další věc:

"Pomocí parametrů je možné nezobrazit v CSV hlavičku, určit si vlastní oddělovač, nezabalovat pole typu text, memo a date v kvóty."

Těmi kvótami je jako myšleno co? Uvozovky? Překládat "quotes" otrocky jako "kvóty" asi není zrovna nejlepší řešení.

Jinak k tématu samotného článku - to mě velmi zaujalo. Díky za tip. Už to emerguju. :o)

[Open Mage]

Ten chybejici kus textu nevidim. Ale s tim quotes souhlas, v te rychlosti co jsem to smolil jsem obcas prepisoval i anglickej man a tutorial na oficialnich strankach ;o) Sorry kamo...

[MaT]

Vypad proste nejak tenhle string:

"Projekt "unixODBC" je samostatný a zcela nezávi"

Takze dallsi odstavec zacinal "sly". Ale uz je to opravene...

[Jakub Hegenbart]

No, mezi quotES a quotA je docela rozdil, ne? Latin rules :)))

[Robert Krátký]

Ad první problém: nevím, jak mi to mohlo uniknout, ale už je to napraveno asi tak půl hodinky (informoval mě jiný čtenář). Každopádně díky za upozornění.

Ad kvóty: to je perlička, ale také mi unikla. Omlouvám se.

[Leoš Literák]

legracni, ja to opravil uz rano, chyba v URL

[Mastodont]

IMHo to je reverzní inženýring proprietárního datového formátu. Ale to je v Linuxu asi považováno za zcela normální ..

[Michal Čihař]

A co je na tom špatného? ... Nikdo nic nekrade, jen na základě vlastního zkoumání napíše program, který pracuje s proprietárním formátem.

[Mastodont]

Ale ano, krade se tu ten binární formát pro ukládání dat.

[rastos]

Prepac, ale nerozumiem.

Tebe vadi, ze mozes viac, ako si mohol predtym?

Jediny, komu nezverejnenie formatu mdb vyhovuje, je Microsoft. A vyhovuje mu to preto, ze tym sa posilnuje jeho monopolne postavenie na trhu - co, ako vsetci vieme, Microsoft s oblubou zneuziva.

Ak vsak ja natypujem nejake data do mdb, tak tie data su moje. A ako sa k nim dostanem ja, alebo moj zakaznik, je cisto moja (resp. zakaznikova) vec a nevidim dovod preco by mal Microsoft na tom profitovat.

[Ales Kutina]

Pokud máte zájem, můžete si svůj omyl ujasnit zde

http://193.85.233.106/.chatroom/6581

Přístup pro zápis je možný po bezplatné registraci. Nehodlám tomuto serveru zvyšovat traffic.

[Jakub Hegenbart]

Jo, přesně tak. To je _všude_ zcela normální. Nějaké námitky, pane? Něco nelíbí? Reverse engineering NENÍ NEZÁKONÝ. Soubor s daty není software, pokud to jsou moje data, můžu si s nimi dělat co chci. BTW, mastodonti už vyhynuli, jdete trochu pozdě :)

[Jakub Hegenbart]

Ujelo mi jedno N ve slově nezákonný. Přemýšlivý čtenář si ho domyslí, že?

[Mastodont]

S daty si můžete dělat co chcete, ale pokud jste je nějak do MDB uložil - nejspíše v Accessu - tak je zase v tom Accessu dostaňte ven.

[Hynek (Pichi) Vychodil]

Data uložená přes nějakou ... jsou stále moje data. MS Přístup není úložiště, úložištěm je můj HD (v opačném případě ať mi ten Přístup nic na HD neukládá, je to můj HD). Ty moje data nejsou uložena v MS Přístupu, ale v mém mdb souboru na mém HD. Všechno je to tedy moje a mohu si s tím dělat co chci. Nebo se snad něco změnilo v americkém přístupu k osobnímu vlastnictví? No oni po 9/11 začali na svoji ústavu dost kašlat, ale zatím to ještě neřekli nahlas. Kromě toho tady nejsme v americe a nějaké americké zákony jsou mi u ... Ještě štěstí, že já žádná data mdb nemám. Ještě by mohl přijít nějaký trouba a tvrdit, že moje data v mojem souboru na mojem HD nejsou moje. Nedej bože by za sebou měl skorumpovaný státní aparát.

[panožka]

Představ si, co kdyby nějaký OpenSource šikula vymyslel bezvadný kompresní formát, Microsoft by ho kopíroval do svého projektu (nekopíruje přece know-how, "jen" formát...) a umístil na MSDN k volnému stažení jako součást Windows.

Juj, to by bylo jeku a breku na Slashdotu.... :o)

Stačí si vzpomenout jak je mu dodneška otloukanej o nos jeho implementace TCP/IP stacku (taky jen formát, v daném případě ovšem ne souboru, ale packetstreamu). A ten byl přitom šířenej pod BSD licencí, která tohle výslovně povoluje.

Inu, dvojí metr na jeden svetr, že....

[Izak]

Re: BSD stack Ne tu nejde vubec oto ze to M$ kopnul ... jde tu oto ze vsude rika ze linux & unix je spatny, zastaraly, neinovativni a nemoderni system. Dale rozjizdi kampan proti unixu s Unisysem (no praci zadali skutecnym profikum a ti tento web postavili na FreeBSD & Apache)

A pak najednou s tohoto pry spatneho OS skopiruji TCP/IP, v debug logu M$ se vyskytuji vyrazy typu /dev/*** ... takze jim nikdo nenadava jen se jim vysmiva, protoze timto rikaji mate spatny OS, ale my mame horsi hec.

Uz se tesim az v M$ woknech bude JournalFS ... to zase bude reci ze neco vymysleli jako 1.

[Michal2]

NTFS ma uz pomerne dlouho zurnal metadat... Prvni rozhodne nebyli. Nicmene pred vypustenim velkohubeho tlachu se oplati zjistit si fakta.

[Jakub Hegenbart]

A proč ne? Pokud nebudou kopírovat přímo kód, nikdo proti tomu ani neštěkne. Odkud berete tu jistotu dvojho metru?

[Jakub Hegenbart]

Když šroubovákem od Bosche sešroubuju dům, je můj, ne Bosche a budu si s ním dělat, co chci. Když kompilátorem od MS zkompiluju aplikaci, je ta binárka moje a budu si s ní dělat, co chci. Když Accessem udělám datový soubor, je můj a budu si s ním dělat, co chci. A všechny tyhle věci Vám, vázžný pane, omlátím o hlavu. Šroubovák i manuály od toho softu. To, co si dovolujete Vy, vážený, si nedovolí dokonce ani MS. NIKDO by pak jeho soft nepoužíval. Máte zmasírovaný mozek.

[Izak]

Hele jdi nekam jo. Tlachas tu o hovadinach. Ja si k*a svoje data budu otevirat v cem chci a jak chci .. to bych si pak ani neotevrel .DOC .... a to by se M$ moc libilo ... ale ja na neho kaslu a presto ho otevru treba v OpenOffice, wordview ...

[Petr Mach]

Mozna ze ano. Normalni to neni, ale je to nezbytne. A nezbytne do bude tak dlouho, jak dlouho bude jedna nejmenovana softwarova spolecnost povazovat za normalalni delat sve zakazniky na sobe totalne zavisle proprietarnimi datovymi formaty. Na pokusu zpristupnit je i na jinych platformach neni nic spatneho ani nelegalniho.

Pakna flame na tohle tema se rozjela na: http://mageo.cz/.chatroom/6581

[Michal Marek (twofish)]

Snazite se byt papezstejsi nez papez, tohle nevadi ani Microsoftu (zvyrazneni ode mne):

Microsoft isn't interested in interoperating with some Linux technology. Reiterating a point he made at the LinuxWorld Conference and Expo in January, Taylor [Microsoft's general manager for platform strategies] said it's the open-source community's responsibility to make sure Linux can share files properly with Windows systems.

He likened the situation to the mid-1990s, when Microsoft took on the job of reverse-engineering Novell's IPX/SPX communication technology so Windows machines could easily fit into Novell networks.

ZDNET

[Michal Marek (twofish)]

PS: google: mdb site:european-patent-office.org, mdb site:uspto.gov -- v cem je problem?

[Vítězslav Novák]

Nakonec - proč by to mělo MS vadit? Jeho formát dojde dalšího rozšíření, je asi dobrý, když stojí za tu práci s reverzním inženýrováním (nebo se tak dá aspoň argumentovat), někdo udělá ZA NĚ (a hlavně za své) práci s propojením jinam. A odpovědnost nese on, MS není ničím vázán, když se rozhodne změnit cokoli ve formátu, tak to změní a vy se starejte nebo nestarejte, vybádejte si...

Ideální stav, ne?

[Martin]

"reverzní inženýring" neni totez, jako vlastnim zkoumanim prijit na strukturu dat a napsat ovladace. Reverzni inzenyring znamena napr. disassembling Microsoftich knihoven a vykradeni jejich kodu. Mate podklady pro tvrzeni, ze vyvoj jde touto cestou? Pokud ne, nemluvte o zlodejine.